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基于 多 模 态 牙科 图 像 的 牙 体 硬 组 织 自动 配 准 
E 伟 , EO 


(上 海 理工 大 学 光电 信息 与 计算 机 工程 学 院 ， 上 海 200093) 


摘 要 : 牙科 图 像 由 于 成 像 模式 、 图 像 质量 、 不 同 病 人 之 间 存 在 差异 性 ， 导 致 临床 应 用 中 牙 体 硬 组 织 的 精确 配 准 成 为 
难点 。 针 对 这 些 问题 ， 并 根据 相关 研究 工作 ， 提 出 了 一 种 更 适用 于 多 模 态 牙科 图 像 的 牙 体 硬 组 织 自 动 配 准 方法 。 该 方 
法 基于 改进 的 ICP 算法 ， 对 多 模 态 的 牙科 荧光 图 像 和 自然 光 图 像 进行 分 析 。 首 先 ， 根 据 多 模 态 牙 科 图 像 的 特点 ， 算 法 
对 图 像 进行 了 预 处 理 ; 其 次 ， 研 究 了 和 鲁 棒 的 特征 点 提取 方法 ， 即 将 牙 体 硬 组 织 边 缘 选 取 为 特征 点 ， 并 同时 根据 口腔 病 
理学 先 验 知识 ， 提 取 多 模 态 图 像 中 的 病 损 组 织 区 域 ， 进 一 步 优化 了 配 准点 集 ; 最 后 ， 利 用 改进 的 ICP 算法 对 咨 科 图 像 
进行 了 配 准 ， 配 准 过 程 中 对 ICP 的 迭代 策略 和 鲁 棒 损失 元 数 进行 了 分 析 和 优化 。 实 验 结果 表明 ， 该 方法 能 更 快速 地 收 
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Dental hard tissue registration based on multi-modality dental images 


Wang Wei, Cheng Bin 
(School of Optical-Electrical & Computer Engineering, University of Shanghai for Science &Technology, Shanghai 200093, 
China) 


Abstract: Dental hard tissue registration is very challenging due to the complexity of histological structure, the variability of 
imaging modality and image quality. To benefit from the advantages of the relative works, we proposed a novel dental hard 
tissue auto-registration method based on multi-modality dental images. It employed the modified ICP algorithm and was 
especially effective for dental fluorescence imaging and the reflectance imaging. The algorithm firstly pre-processed the dental 
images to decrease the impact of imbalance local illumination. Secondly, we investigated a robust feature points extraction 
strategy, 1. e. to calculate the boundaries of hard tissue as initial feature point sets, and to further extract the lesion areas based 
on the prior knowledge of oral histopathology for the refinement of feature points. Finally, our method executed the modified 
ICP algorithm on the basis of the special designed point-pairs rejection method and the improved registration strategy. The 
experimental results show that the proposed method is not only robust, but also can converge more quickly and achieve higher 
accuracy. 


Key Words: dental image; multi-modality medical image registration; modified ICP algorithm; robust loss function 


0 引言 重要 组 成 部 分 ,引起 了 研究 人 员 的 广泛 重视 。 具体 到 牙科 影像 处 

理 与 分 析 领 域 ， 需 要 对 不 同时 刻 的 牙 体 硬 组 织 区 域 进行 配 准 ， 
牙 体 硬 组 织 作为 口腔 内 组 织 的 重要 组 成 部 分 ， 其 病变 常常 ”继而 完成 对 病 损 目 标的 检测 和 跟踪 处 理 ， 为 临床 诊断 提供 更 多 
RMK WARS BARRI FER TEARRE ” 有 判断 价值 的 信息 。 然 而 ， 数 字 化 的 耸 科 视频 图 像 大 多 是 由 牙 
病 等 各 种 形式 。 根 据 我 国 近期 口腔 流行 病 学 调查 显示 ， 当 前 形 ” 科 医 生 手 持 光 学 成 像 设 备 在 对 患者 进行 治疗 时 拍摄 所 得 ， 因 此 
势 不 容 乐 观 ， 临 床 工作 仍 面临 巨大 的 压力 中， 因此 在 牙科 的 临 ”在 成 像 时 不 可 避免 地 存在 成 像 设备 抖动 、 光 照 不 均等 问题 ， 增 
床 应 用 中 ， 探 索 新 的 、 安 全 、 高 效 的 齿 科 计算 机 自动 辅助 检测 。 加 了 对 牙齿 硬 组 织 自动 配 准 的 难度 。 
方法 显得 更 加 有 意义 ， 从 而 通过 牙科 诊疗 的 智能 化 ， 提 高 牙科 本 文 研究 了 基于 多 模 态 牙科 图 像 的 牙 体 硬 组 织 自动 配 准 ， 
医生 的 工作 效率 。 其 研究 对 象 包含 了 由 定量 光 导 痰 光 技 术 所 产生 的 痰 光 图 像 ， 以 
医学 图 像 自动 配 准 技术 作为 计算 机 自动 辅助 检测 中 的 一 个 ”及 由 口腔 内 罕 镜 所 获取 的 普通 自然 光 图 像 。 定 量 光 导 荧 光 技 术 
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PIY 代替 了 ， 进 行 下 


否则 ,将 此 次 迭代 过 程 
满足 迭代 收敛 条 件 。 进 而 完成 
经 典 ICP 算法 需要 满足 两 个 假设 条 件 : 首先 是 


和 源 特征 点 集合 存在 包含 关系 ;其 次 是 对 应 点 


式 距 离 最 近 的 点 对 即 为 对 应 点 5 。 


标点 集合 与 源 点 集 间 的 配 准 。 
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搜索 过 程 中 ， 欧 


备 较 好 的 收敛 性 ， 取 


得 较 精确 的 配 准 结果 。 但 此 算法 也 存在 一 些 不 足 之 处 ， 主 要 体 


现在 对 应 点 的 搜索 方 


而 ,一方 


四 是 对 应 点 


E E E E R 计算 复杂 度 高 (理想 状态 下 为 O(N, log N,) )00; 另 外 一 方面 ， 

息 的 统计 结果 ， 如 基于 交互 信息 的 方法 在 多 模 态 医学 图 像 配 准 。” 在 实际 应 用 过 程 中 ， 由 于 经 典 ICP 算法 所 需 的 两 个 假设 条 件 无 

中 得 到 了 较 多 的 应 用 外 但 此 种 方法 容易 受到 图 像 谈 挡 、 图 像 截 。 “法 满足 ， 导 致 了 在 每 次 夫 代 过 程 中 的 对 应 点 搜索 结果 错误 ， 影 
断 、 干 扰 噪 声 等 因素 的 影响 。 而 基于 局 部 的 特征 匹配 法 又 可 分 。 响 了 最 终 的 配 准 精度 。 

为 基于 梯度 的 配 准 和 基于 边缘 的 配 准 mio， 与 全 局 特征 匹配 法 针对 经 典 ICP 算法 所 存在 的 不 足 ， 许 多 研究 人 员 从 不 同 角 

相 比 ， 其 抵抗 干扰 的 能 力 强 ， 并 且 基 于 边缘 的 局 部 特征 匹配 法 。 ” 度 提 出 了 各 种 改进 方案 Nishino 对 不 同 的 改进 措施 进行 了 归纳 

更 适合 于 多 模 图 像 配 准 品 。 总 结 ， 主 要 有 三 类 : 配 准 点 集 筛 选 、 配 准 策略 以 及 误差 函数 求 

于 牙科 图 像 的 特殊 性 ， 只 有 采取 合适 的 配 准 方法 ， 实 验 feum. 

结果 才能 达到 较 好 的 鲁 棒 性 和 准确 性 。 考 虑 到 多 模 态 牙科 图 像 在 配 准 点 集 筛 选 方面 ， 主 要 是 研究 如 何 有 效 地 对 对 应 点 集 

的 特点 ， 本 文采 用 了 基于 改进 ICP (iterative closest point) 配 准 ”进行 优选 ， 以 减少 计算 的 特征 点 数 。 一 种 是 用 采样 的 方法 来 对 

算法 的 多 模 态 图 像 配 准 方法 ， 在 特征 点 提取 和 对 应 ICP 迭代 策 。 配 准 点 集 进行 第 选 ,当前 主要 有 一 至 采样 法 0 和 随机 采样 法 [5]; 

略 等 方面 进行 了 创新 。 另 一 种 方法 是 优选 出 能 包含 目标 某 些 特征 的 点 来 进行 配 准 ， 如 

RS "m RUE Ee UB IRE s EUER Ae et LU Te M Re AR. 

1 OP 章法 及 改进 策略 分 析 人 配 准 策略 方面 ， 主 要 是 研究 如 何 有 效 、 准 确 地 将 目标 特 

ICP 配 准 算法 是 由 Besl 和 McKay 提出 0 该 算法 是 一 种 基 ， 征 点 集 和 源 特 征 点 集 一 一 对 应 。 一 类 方法 是 着 重 于 对 特征 度量 

于 目标 轮廓 特征 点 配 准 的 算法 , 自 1992 年 提出 后 得 到 了 广泛 的 。 ”的 选取 。 如 经 典 ICP 算法 是 采用 了 目标 特征 点 和 源 特征 点 间 的 

应 用 。 经 典 ICP 算法 的 原理 是 通过 计算 目标 特征 点 集 和 源 特征 ”网 氏 距离 作为 特征 度量 ， 改 进 的 ICP 算法 考虑 了 新 的 特征 度量 

点 集 间 的 最 优 旋转 矩阵 和 平移 向 量 后 ， 对 目标 特征 点 集 进 行 坐 ” 方法 ， 比 如 用 点 到 面 的 距离 来 建立 目标 函数 L909、 利用 

标 变换 ， 使 得 变换 后 的 目标 特征 点 集合 与 源 特 征 点 集 匹 配 ， 即 “Hausdor 人 ff 距离 来 描述 两 点 集 相 似 程度 的 距离 度量 231、 利用 几何 

使 得 下 式 的 误差 计算 值 最 小 : 特征 (主要 有 法 向 量 、 曲率 等 特征 ) 来 优化 特征 度量 20; 另外 ， 

—- los Jy T Wb — elo BECK RURAL, SEREAS 

D nin =min > [x, 一 yj] (1) " i "e " 

ja 入 到 特征 度量 中 , 如 Huber 函数 PTukey's Biweigh 函数 P3] 等 。 

其 中 : 源 特 征 点 集 为 =,(i=0,,2..n) ， 目 标 特 征 点 集 为 在 配 准 策略 方面 ， 另 一 类 方法 是 侧重 于 研究 提高 对 应 点 对 

了 =y,,(j=0,1,2..k) ;通过 搜索 集合 六 ， 确 定 与 》) 距 离 最 短 的 。 ”的 搜索 速度 。 在 对 应 点 对 的 搜索 算法 方面 , Greenspan 提出 的 近 
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技术 的 投影 搜索 算法 Ca 等 有 了 一 定 的 改进 。 
Y -y,( 2012.4), ， 坐 标 变换 公式 如 下 所 示 ， 在 误差 函数 求解 方面 ， 应 用 最 广泛 的 方法 有 两 种 ， 一 是 奇 
TN qj 异 值 分 解 的 方法 P9， 二 是 单位 四 元 数 法 。 
j j 通过 对 ICP 算法 改进 策略 的 分 析 ， 可 看 出 国内 外 学 者 提出 
的 各 种 改进 方法 分 别 在 配 准 精度 和 速度 上 进行 了 提升 。 然 而 ， 
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201804.02018v1 


chinaXiv 


录用 稿 


于 牙科 图 像 的 特殊 性 ， 


传统 的 ICP 配 准 方法 
Hey 
TR 


从 配 淮 点 集 筛选 、 
适合 多 模 态 牙科 图 
动 配 准 。 


2 ”基于 多 模 态 牙科 图 像 的 牙 体 硬 组 织 配 准 方法 


2.1 算法 流程 


本 文 所 采用 的 适合 多 模 态 牙科 图 像 的 牙 体 硬 组 织 自 


难以 取得 较 好 的 效 
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自动 
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对 优选 出 的 病 损 组 织 进行 处 理 ， 选 取出 特征 点 ， 增 加 到 
初始 的 配 准 点 集中 去 ， 并 对 初始 的 配 准点 集 进行 优化 ; 
设置 鲁 棒 损 失 函 数 ; 
DAH ICP 算法 再 次 进行 友 代 ， 当 迭代 结果 满足 预 设 的 精 
度 要 求 ， 或 者 达到 预 设 的 欠 代 次 数 ， 则 二 次 迭代 结束 。 
有) 二 次 迭代 完成 后 ， 计 算 最 优 参 数 ， 完 成 图 像 配 准 。 
2.2 多 模 态 图 像 预 处 理 
由 于 牙科 图 像 的 成 像 特点 ， 在 不 同 的 图 像 之 间 存 在 光照 差 


异性 的 问题 ， 故 需要 对 图 像 作 均 衡 化 处 理 ， 而 同时 也 要 考虑 实 
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图 1 


病 损 组 织 区 域 优选 


配 准点 集 优化 


鲁 棒 损失 函数 


改进 ICP 算法 主流 和 


该 算法 的 具体 步骤 简 述 如 下 : 

a) 将 输入 待 配 准 的 荧光 图 像 和 自然 光 图 像 进行 区 
作 图 像 去 噪 及 均衡 化 处 理 ， 排 除 部 分 光照 及 噪声 的 

b) 在 多 模 态 牙科 图 像 中 ， 结 合 数学 形态 学 对 牙 
成 自动 分 割 ; 

9 对 提取 出 的 牙齿 硬 组 织 区 域 进行 处 理 ,省 
作为 特征 点 ; 

9 对 牙齿 硬 组 织 区 域 的 边缘 特征 进行 筛选 ， 
点 集 ; 


6) 利用 ICP 5132 
度 要 求 ， 或 者 达到 预 

人 如 果 初 次 欠 代 结果 满足 精度 要 
图 像 配 准 ; 


上 结果 


算 最 优 参数 ， 完 成 
g) n d 


及 口腔 病理 学 先 验 知识 ， 在 荧光 图 像 和 自然 光 医 


pa 


不 满足 精度 要 求 ， 结 合 数学 形态 学 以 
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求 、 初 次 迭代 结束 后 , 则 计 


部 分 典型 病 损 组 织 


区 域 ; 


时 性 方面 的 要 求 。 本 文中 所 处 理 的 图 像 原 始 输 入 格式 为 RAW 
格式 ， 按 拜 尔 阵 列 分 布 处 理 后 ， 转 换 为 24 位 RGB 格式 。 考 虑 
到 本 研究 课题 允许 图 像 预 处 理 后 带 来 的 部 分 颜色 失真 ， 论 文中 
对 多 模 态 的 自然 光 图 像 和 荧光 图 像 皆 采用 了 如 下 图 像 均衡 化 算 


法 : 


假设 原 输入 齿 科 图 像 为 A(x,y) ， 其 对 应 RGB 通道 为 
fr(X,y)、 fs GG y). fs Gn y): 其 中 fol(x,y) 的 灰 度 变化 区 i 


aj 


为 [0, foul: 经 过 均衡 化 处 理 后 ， 输出 EM g(x,y), 其 对 


应 RGB MŠ N g,G5,y). g505 Y). gg Go y). HOPED 
gg Cc Y) HIRE EA [0, 8 ow ] ， 则 变换 表达 式 为 


p 


SGmx o <T 
gg 065 y)7 T, fs y) fe y») ST, - 


S Gmax Ty < fa Y) S fona. 


gsx, y) = Sem. f, (x, y) (4) 
Ty 
zZ EGmax 
8&5 3)7 75 fa Gr y) (5) 
N 
其 中 :和 EAEE, BEDS go Go y) 进行 灰 度 直方 图 统计 


后 得 出 ， 用 于 保证 了 对 齿 科 图 像 的 有 效 均衡 化 。 
2.3 ” 牙 体 硬 组 织 分 割 
2.3.1 自然 光 图 像 牙 体 硬 组 织 分 割 

根据 牙科 图 像 的 特点 ， 本 小 节 充 分 利用 图 像 的 灰 度 信息 和 
颜色 特征 ， 并 结合 数学 形态 学 对 预 处 理 后 的 自然 光 图 像 进行 分 
析 ， 完 成 了 牙 体 硬 组 织 的 自动 分 割 。 具 体 算法 步 又 描述 如 下 : 


1 ) 背景 区 域 自动 分 割 ， 确 定 背景 区 域 点 集 B 


假设 bli, j) Ju B, 所 对 应 的 二 值 图 像 中 (i,j) 处 的 像素 ， 则 
fL eg, G D «T, & gj) « To&g,, j) « T 
sand 


0 gs OO 
H eG, J) « go. J) Fi gs. DAIA VEU A REA 
的 R. G, B 通道 在 亿 j) Ie RARE T, To MT, 为 预 设 阔 
值 ， 即 为 了 满足 实时 性 的 要 求 ,背景 区 域 的 分 割 是 通过 对 RGB 
三 个 颜色 通道 设置 全 局 阔 值 来 完成 的 。 
2) 牙 体 软 组 织 区 域 自动 分 割 ， 确 定 对 应 点 集 G 
牙 体 软组织 区 域 的 获取 主要 由 形态 学 中 的 重 构 操 作 来 获得 ， 
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形态 学 的 重 构 操 作 不 但 克服 成 像 过 程 中 光照 不 均 的 干扰 ， 也 对 
存在 图 像 弱 边缘 的 牙 体 软组织 区 域 有 很 好 的 效果 。 按 照 式 (7) 可 
得 重 构 操作 后 的 初步 结果 G, 。 
G, = imreconstruct(G,,, ius Gua) (7) 
HP: Gyare M Gy 的 计算 充分 考虑 了 自然 光 图 像 中 的 
强度 和 色 度 信息 ， 有 具体 可 由 式 (8) 和 (9) 分 别 进 行 定 义 : 


m ga G, J) 
1 RM? Ta & . o Tra 
Gy. J) = Badanie gc, j) 7 (8) 
0 其 他 
ERE 
Gy; (i, J) = 8g G. J) (9) 
0 其 他 


EP: Te M Teo ITRE, 8r 让 和 goli, 记 为 预 处 理 后 自 
然 光 图 像 的 R、G 通道 在 (i, j) 处 的 灰 度 值 。 经 过 重 构 操作 后 的 
“还 需要 进 一 的 优化 , 即 删除 G. 中 面积 过 小 的 区 域 ， 
最 终 获 得 点 集 G, 。 


3) 牙 体 硬 组 织 区 域 自动 分 割 ， 确 定 初步 点 集 开 


通过 对 背景 区 域 和 牙 体 软组织 区 域 的 去 除 ， 可 以 获得 牙 体 
区 域 的 初步 点 集 ， 其 计算 式 如 下 所 示 : 


T=BUG (10) 


4 ) 通过 对 牙 体 硬 组 织 分 割 区 域 优化 ， 获 得 最 终点 集 T 


在 获取 到 初步 点 集 T 后 , 还 需要 进 


步 的 形态 学 操作 来 对 


分 割 结果 进行 优化 , 本 算法 中 采用 的 主要 策略 为 对 下 所 对 应 的 


牙 隐 和 裂 、 牙 髓 病 和 根 尖 周 病 等 ， 本 小 节 中 的 病 损 组 织 区 域 优选 
不 是 要 检测 出 上 述 所 有 情况 ， 而 仅仅 是 分 割 出 具有 色素 沉着 
的 病 损 区 域 。 这 些 区 域 边 界 清晰 、 在 多 模 态 图 像 中 皆 成 像 特 征 
明显 ， 从 而 保证 了 所 选取 特征 点 的 鲁 棒 性 ， 有 助 于 牙齿 硬 组 织 
自动 配 准 的 精度 提升 。 

2.4.1 自然 光 图 像 病 损 组 织 分 割 


然 光 图 像 中 病 损 组 织 区 域 点 集 工 , 的 获取 又 如 下 所 示 : 


a) 对 预 处 理 后 的 自然 光 图 像 的 G 通道 图 像 g(x,y) 作 特定 
数学 形态 学 操作 处 理 ， 即 执行 基于 灰 度 图 象 的 孔洞 填充 操作 ， 


通过 式 (11) 可 获得 中 间 结 果 8 (x, y) : 
go Gs y) = imfill(g, x, y) (11) 


D) 计 算 初 步 病 损 组 织 区 域 点 集 二 ， 


8.06530 2505 y) > Tos 


其 它 0» 


， 1 
Lol 


其 中 76, 为 预 设 闵 值 。 
9 基于 牙 体 硬 组 织 区域 的 


2A SER T, ， 对 初步 病 损 点 


进行 处 理 ， 获 得 最 终 病 损 组 织 区 域 点 集 L, 


iu 


L =L AT, (13) 


2.4.2. 荧光 图 像 病 损 组 织 分 割 


荧光 图 像 中 病 损 组 织 区 域 点 集 工 的 获取 步骤 同 克 的 计算 


二 值 图像 作 孔洞 填充 操作 ,保证 所 获 


的 牙 体 硬 组 织 区 域 的 完 


Jù 


整 性 ， 最 终 获 得 点 集 了 7 。 
2.3.2 荧光 图 像 牙 体 硬 组 织 分 割 

根据 由 定量 光 导 区 光 技术 所 产生 的 荧光 图 像 的 特点 ， 牙 体 
软组织 在 荧光 图 像 上 呈现 出 的 强度 很 低 ， 与 背景 区 域 的 荧光 成 
像 特性 十 分 类 似 。 因 此 ， 荧 光 图 像 牙 体 硬 组 织 分 割 方法 改进 如 
下 : 


a) 在 荧光 成 像 中 ， 将 软组织 区 域 和 背景 区 域 归 为 一 类 ， 


方法 ， 即 与 2.4.1 节 中 描述 的 方法 类 似 。 
2.4.3 病 损 组 织 特征 区 域 优选 
由 于 自然 光 图 像 和 痰 光 图 像 成 像 模 式 的 差异 性 ， 


对 病 损 组 


织 的 成 像 结 果 也 存在 一 定 的 差异 性 ， 需 要 对 获得 的 L A L, 


Ix] 


T 


域 作 进一步 的 优选 ， 其 主要 优选 规则 如 下 : 


假设 病 损 组 织 特征 区 域 s eL, heL: $1 对 应 的 病 损 


采用 与 2.3.1 节 中 所 阐述 的 与 B, 相同 的 方法 来 计算 ， 即 采用 全 


局 阅 值 来 完成 背景 区 域 与 牙 体 软组织 区 域 的 自动 分 割 ; 
bp) 利 用 与 式 (10) 相 同 的 计算 方法 ， 去 除 背 景区 域 和 牙 体 软 


memi 


组 织 区 域 后 ， 可 获得 初步 点 集 了 s 


c) Hl 5 2.3.1 节 中 相同 的 形态 学 优化 方法 对 下 进行 处 理 ， 


获得 优化 后 的 最 终 牙 体 硬 组 织 区 域 点 集 工 。 
2.4” 病 损 组 织 特征 区 域 优选 
牙齿 硬 组 织 病 也 常常 表现 为 蜂 病 、 四 坏 素 牙 、 模 状 缺 损 、 


面积 为 Areas ， 其 所 在 的 牙 体 硬 组 织 面积 为 Arean ; t 对 应 
的 病 损 面 积 为 Area, ,其 所 在 的 牙 体 硬 组 织 面积 为 Area, 。 如 


果 要 使 % EL MLELE, XE FX: 


Area, Area, Area, 


(14) 


Area 


Arear, Area Area. 


其 中 : Tarea 为 预 设 阔 值 。 病 损 组 织 特征 


x 域 经 过 优选 后 , 从 自然 


光 图 像 中 计算 出 病 损 组 织 区 域 优选 特征 点 集 工 ,从 荧光 图 像 中 
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计算 出 对 应 优选 特征 点 


EL. 


2.5 配 准 点 集 选 取 及 优化 
2.5.1 初始 配 准 点 集 生成 


通过 上 自动 分 割 日 


上 牙 体 硬 组 织 


台 配 准点 集 。 通 过 对 测试 数据 集 内 多 模 


本 文中 初始 配 准点 外 


特征 点 。 初 始 配 准 点 集 筛 选 步骤 如 下 : 


1) 提 取 牙 体 硬 组 织 
在 常用 的 边缘 检测 算法 中 ， 相 比 于 
氏 ， 但 具有 较 低 的 运算 复杂 度 、 对 噪声 不 敏 
采用 Sobel 算 子 来 对 牙 体 硬 组 织 


子 虽然 检测 精度 较 人 
感 。 故 综合 考虑 下 来 ， 本 文中 
区 域 点 集 T 进行 处 理 : 


区 域 后 , 接 下 来 就 是 筛选 出 初 


态 牙 科 图 像 特 点 的 分 析 ， 


选取 策略 将 主要 着 重 于 牙 体 硬 组 织 的 边缘 


N 


x 域 点 集 T HMA RRE RR E 


F Canny 算 子 ，Sobel 算 


E = Sobel (T) (15) 

2) 配 准点 集 采 样 及 初步 配 准 点 集 生成 
Model = Sample,(E,) (16) 
Data — Sample, (E,) (17) 


其 中 : E, RE, 分 别 为 自然 光 图 像 和 待 配 准 的 荧光 图 像 所 对 应 


的 牙 体 硬 组 织 
数 ， 一 般 可 为 1 


区 域 轮廓 特征 点 集 ; Sa 


mplec() 为 预 设 的 采样 函 


牙 体 人 硬 组 纪 
自然 光 图 像 的 初始 配 准 
图 像 的 初始 配 准 点 集 Data 。 
2.5.2 配 准 点 集 优化 
点 集 通过 ICP 算法 欠 代 后 ， 如 果 配 准 精 度 不 满足 


初始 配 准 


匀 匀 采样 或 者 随机 采样 函数 。 


要 求 ， 则 需要 对 配 准点 集 进 行人 


于 多 模 态 牙科 图 像 的 


固有 成 像 特点 ， 


而 与 牙 体 硬 组 织 区 


较 大 的 牙 体 硬 组 织 区 域 轮廓 特征 点 集 ， 
使 得 ICP 算法 迭代 容易 


陷入 局 部 极 值 。 


内 轮廓 点 集 经 过 采样 处 理 后 ， 则 分 别 得 到 对 应 于 
点 集 Model ， 和 对 应 于 待 配 准 的 荧光 


化。 通过 实验 分 析 ， 本 文 发 现 


不 可 避免 地 会 存在 偏差 
继而 会 影响 配 准 的 精度 ， 


或 相 比 ， 本 文 又 优选 了 具有 色素 沉着 、 


[ma 
tF 


在 多 模 态 图 像 中 特 生 


FE 稳定、 边缘 清晰 的 病 损 区 域 为 代表 ， 并 提 
取 其 特征 点 工 来 作为 下 配点 ， 从 而 保证 配 准 特 征 点 选取 的 鲁 棒 


本 文中 采用 了 如 下 策略 对 初步 配 准点 集 进行 优化 : 
Model= Model U Sample, (L,) (18) 
Data = Data U Sample, (L,) (19) 


Ap: L, M L, 分别 为 


优选 病 损 组 织 


又 域 特征 ， 


点 集 ; Sample, 


般 可 为 均匀 采样 或 者 随机 采 村 


应 于 自然 光 图 


里 后 ， 将 其 与 初始 配 准 


自然 光 图 像 和 待 配 准 的 荧光 图 像 所 对 应 的 


0 为 预 设 的 采样 函数 , 一 


EF 函数 。 优 选 病 损 组 织 区 域 特征 点 


E Data 。 


点 集合 并 ， 则 分 别 得 到 对 
像 的 优化 配 准 点 集 Model , 和 对 应 于 待 配 准 的 荧 
光 图 像 的 优化 配 准点 集 


TERN 虽然 可 以 进 


2.6 ICP 算法 迭代 
2.6.1 ICP 和 迭代 策略 

本 算法 中 的 ICP 迭代 策略 采用 两 轮 ICP 迭代 法 ， 一 般 
轮 迭 代 可 以 满足 50%~60% 的 配 准 情况 ， 引 入 第 二 轮 的 ICP 算 


第 一 轮 ICP 迭代 的 
a) 获 取 对 应 于 自然 光 


是 高 配 准 精 度 ， 


具体 


* 


图 像 的 初始 配 ; 


像 的 初始 配 准 点 集 Data ; 


H ICP 算法 进行 第 一 轮 欠 代 。 在 第 一 轮 迭 代 的 每 次 迭 
F Model 点 集中 寻找 与 Data 最 近 点 当 作 同 


则 第 一 轮 迁 代 所 得 上 
第 二 轮 ICP 3 


这 些 同 源 点 进行 距离 最 小 
认为 是 本 次 迭代 中 的 最 优 参数 Ricp、Ticp ,3 
第 一 轮 欠 代 过 程 中 ， 最 小 距离 计算 采用 欧式 距离 
第 一 轮 迭 代 结 束 ， 其 终 


c] 经 过 多 次 迭代 后 ， 
迭代 次 数 最 多 不 超过 预 设 值 Count ; 
准 精度 小 于 预 设 值 RMSE,, o 
DREHER BOUES 
变换 参数 为 最 优 参数 
\ 体 策略 描述 如 下 : 
果 第 一 轮 迭 代 结 束 后 ， 配 准 ; 


b) 使 月 


E 阵 时 ， 一 般 ) 


re 


YE 


EJ 


T 


进行 优化 ， 于 多 模 态 牙科 图 
损 组 织 特 征 点 集 ， 得 到 优化 


标点 集 ; 


QAE ERU 
迭代 次 数 最 多 不 超过 预 设 值 Count, ; 
准 精 度 小 于 预 设 值 RMSE, o 
d) 第 二 轮 和 迭代 结束 后 ， 得 到 最 终 的 配 ; 
2.6.2 S XAR d C vr 
经 典 ICP 算法 中 ， 在 利 | 


H ICP 算法 
会 先 设 定 鲁 棒 损 失 函 数 ; 
寻找 与 Data 最 近 点 当 


的 是 欧 氏 距离 习 


胆 是 也 增加 了 计算 


策略 描述 如 下 : 
ER Model ， 和 对 应 


攻 ， 同 源 点 距离 最 近 时 的 变 


青 度 大 于 预 设 值 RMSEn,， 


后 的 配 准点 集 Model 和 Data; 
HITER. E RIER, 
然后 在 每 次 迭代 
作 同 源 点 ， 计 算 最 优 参数 Rep Tier» 


第 二 轮 友 代 结束 ， 其 终止 条 件 关 


最 小 二 乘法 对 配 准 


> OCA [23] H 


Pm (7) = 


Pra (r) ER 


3) Cauchy 函数 


Ky, Ir 


2 
Kr, 


P 也 介绍 了 一 些 鲁 棒 损 失 函 数 , 可 以 减少 偏 
差 较 大 的 点 的 和 干扰， 有 助 了 
1 ) Huber 函数 


l 5 


—r if Ir| < Kg, 


2 
Ky, 


2 ) Tukey's Biweigh 函数 


He] 


F 方 和 最 小 来 进 


F ICP 算法 迭代 精度 的 提高 。 
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2 2 
DIOE 加 | 
2 Koa 


其 中 指 的 是 残 差 ，Kjs,、 Kj Ko, 为 预 设 值 。 


3 ”实验 结果 与 分 析 


3.1 图 像 测试 数据 库 及 算法 评价 体系 

本 文中 所 采用 的 图 像 测试 数据 库 由 开发 数据 集 
组 成 。 其 中 ， 开 发 数据 集 共 包含 600 余 张 自然 光 
像 ， 全 部 是 临床 中 通过 口腔 内 宁 镜 和 定量 光 导 荧 


inr 


Mr 


pa 


共计 300 余 组 开发 用 例 。 
测试 数据 集 由 100 张 图 像 构 成 ， 分 别 是 50 张 
和 50 张 对 应 的 荧光 图 像 ; 测试 数据 集中 , 每 个 测试 
含 平 移 、 旋 转 或 者 缩放 中 的 一 种 情况 ， 基于 各 种 情 


而 成 , 处 理 后 所 得 的 图 像 为 24 位 RGB 格式 , 分辨 率 为 1024x768， 


(22) 


和 测试 数据 
图 像 与 荧光 
XH 


自然 光 图 像 
样本 至 少 包 
况 实际 发 生 


的 概率 , 测试 数据 样本 中 , 平移 情况 占 60%, 旋转 情况 占 30%， 


缩放 情况 占 1096. 
利用 改进 算法 对 测试 数据 集 处 理 后 ， 本 文 主要 


从 两 个 方面 


来 对 算法 进行 定量 评估 ， 即 ICP 的 和 迭代 收敛 速度 和 配 准 精度 。 


其 中 算法 收敛 速度 和 计算 复杂 度 、 和 迭代 次 数 相关 ; 


继续 沿用 均 方 根 误差 (Root Mean Square Error, 简称 
通用 评估 方法 来 进行 ， RMSE 计算 表达 式 如 下 : 


其 中 : n 为 测量 次 数 ，d, 为 配 准 后 源 和 目标 点 集 之 


的 测量 值 与 平均 值 的 偏差 。 
3.2 ”实验 结果 
3.2.1 经 典 算 法 实验 结果 
建立 了 图 像 测试 数据 库 及 算法 评价 体系 后 ， 本 


配 准 精度 则 
RMSE) 这 


(23) 


间 欧 氏 距 离 


文 利用 经 3 


ICP 算法 对 测试 数据 库 中 的 图 像 进行 了 实验 ,经 典 算法 仅 用 ICP 


算法 的 传统 迭代 策略 ， 同 时 在 利用 最 小 二 乘法 对 配 
最 优 变换 矩阵 时 ， 采 用 欧式 距离 的 平方 和 最 小 来 进 
考虑 鲁 棒 损 失 函 数 的 设 定 。 实 验 表 明 对 于 5096-6096 
经 典 算法 可 以 取得 较为 满意 的 结果 。 


准点 集 计算 
RI, R 
左右 的 情况 ， 


以 图 2 中 的 自然 光 图 像 和 殉 光 图 像 为 例 ， 对 图 
组 织 区 域 的 提取 结果 如 图 2(c) 和 (d) 所 示 ， 其 对 应 的 


像 中 牙 体 硬 
初始 特征 点 


集 为 图 UDMA; R 2(g) 和 图 2(h) 分 别 为 配 准 前 和 


配 准 后 的 牙 


体 硬 组 织 边缘 坐标 图 像 ， 其 中 红色 曲线 为 自然 光 轿 
组 织 边 缘 轮廓 ， 黄 色 曲 线 为 艾 光 图 像 的 牙 体 硬 组 织 


像 的 牙 体 硬 
VAR SCR, 
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E 


ICP 配 准 后 的 均 方 根 误 差 曲线 ， 横 坐标 为 ICP 的 
坐标 为 RMSE 值 除 以 1000。 


图 20) 为 
代 次 数 ， 纵 


E th, Wi 基于 多 模 态 牙科 图 像 的 牙 体 硬 组 织 自动 配 准 


(b) XXE ER 


(cya 图 牙 体 硬 组 织 区 域 d) b 图 牙 体 硬 组 织 区 域 
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(e) a 图 初始 特征 点 (f) b 图 初始 特征 点 
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(g) 配 准 前 坐标 图 (h) 配 准 后 坐标 棋 


(i)RMSE 结果 图 


到 2 经 典 算法 配 准 结 


图 2 的 实验 中 ， 主 要 参数 设置 如 下 : 对 于 自然 光 图 像 ， 背 
景区 域 自动 分 割 过 程 中 及 To MT, 都 选取 为 40， 而 菊 光 图 像 
中 对 应 参数 值 为 20， 牙 体 软组织 区 域 自动 分 割 过 程 中 Tc 选取 
JI 140. Tp 选取 为 45; 病 损 组 织 自动 分 割 过 程 中 ,选取 为 7; 
对 于 病 损 组 织 特征 优选 过 程 中 ，T,j, 选取 为 0.3; ICP 迭代 过 程 
中 办 代 收敛 条 件 设置 为 : 最 大 人 迭代 次 数 不 超 过 40， 配 准 精 度 
RMSE 小 于 预 设 值 0.000001。 

3.2.2 和 迭代 策略 实验 

由 于 牙科 图 像 的 多 模 态 成 像 特点 ， 牙 体 硬 组 织 区 域 会 存在 
成 像 差 异性 , 进而 会 影响 到 配 准 特征 点 的 选取 , 从 而 影响 到 ICP 
算法 的 配 准 精度 。 针 对 这 种 情况 ， 本 实验 基于 经 典 算法 的 传统 
迭代 策略 ， 对 ICP 的 和 迭代 策略 进行 了 修正 。 结 合 数学 形态 学 以 


Ei 


及 先 

组 织 
策略 
图 
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像 和 
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R, 


AN 


保证 


Il 


然后 对 配 准 点 
了 算法 的 精度 。 
Fa E 


自然 光 医 


HA 


图 


集 ， 增 加 了 优选 的 病 损 区 域 特征 ; 
坐标 图 象 和 


>= 


多 


3(c) 和 


(Wr: 


长 进行 了 


3(a) 和 (b) 对 


像 中 ， 
优化 ， 进 而 通过 


NJ 


图 3(e) 和 


E 


ie: 


算法 配 准 


I 


JR ESI A E 


2 中 的 设置 


相同 ; 
首次 ICP 迭代 和 二 次 ICP 迭代 配 准 后 的 均 方 根 误差 进 


图 


自然 光 


像 和 
ZEUG 


(798 化 过 


后 的 特征 ， 


3(g) 和 (h) 分 别 为 配 准 前 


Bi 


的 特征 点 


像 ， 不 同 颜色 
3s 


Le Hi BEAT 
新 的 迭代 


f; 初始 


点 
点 


线 定 义 与 图 


f fu. 


然 光 图 像 


Deu 


(c) a 图 初始 特征 (d) b 图 初始 特征 点 
(e) a 图 优化 特征 图 优化 特征 点 
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d NN = N 
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(g) 配 准 前 坐标 区 h) 配 准 后 坐标 图 
(迭代 策略 改进 法 ) 
Be | LC EIP RCEAANE 
(i) RMSE 结果 比 对 图 
图 3 ”改进 迭代 策略 算法 实验 结果 
实验 结果 比较 可 知 ， 对 于 图 3 中 的 典型 例子 ， 通 过 友 代 
策略 改进 后 ， 其 RMSE 值 由 首次 迭代 中 的 结果 19.347 下 降 到 


iod, DETSEST ABO ens deg 
二 次 迭代 中 的 结果 14481. El 3 中 的 主要 参数 设 定 同 图 2 例 ， 
仅 ICP 迭代 策略 部 分 参数 特别 设置 如 下 : ICP 和 迭代 过 程 中 
Count, ~ Count, WREN 40, RMSE, 7# RMSE, 都 设置 为 


0.000001, RMSE,, t 
A A dc de 

理论 上 重 棒 损 失 函 数 可 以 减少 
Æ ICP 算法 的 再 


323 鲁 棒 


如 果 
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为 0.012。 


点 


有 差 较 大 的 配 准 


LAGE 


尺 中 ， 选 用 合适 的 鲁 棒 损失 
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Hè * 
函数 来 蔡 


代 欧 式 距 离 ， 本 
本 次 实验 中 , 本 文 将 在 相同 的 ICP 迭代 参数 设 定 下 , 选 ] 


Hr H ES 


以 在 


定 程度 上 提高 配 准 的 精度 。 


型 的 


三 组 测试 | 


例 来 对 不 同 


的 鲁 棒 损失 函数 进行 评估 


a J 牙 体 人 硬 2H 2: Uri 


[E] 


分 别 对 应 于 
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和 (h) 


(a) 


XS 


图 4 中 


民 完 成 后 利用 
而 分 析 其 对 ICP 配 准 ; 
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舌 面 和 咬合 面 三 种 情况 ， 其 自 
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ER 


DS 


的 (a) (AMER, KIRRU ARAO) 


RMSE 值 大 小 来 判断 配 准 
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青 度 的 影响 。 
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(b) se» gd 


200 400 


600 


600 800 1000 


坐标 图 


(gd) 自 然 光 图像 (e) 荧 光 图 像 (DD) 配 准 后 坐标 图 
=à A 
(g) 自 然 光 图 像 (荧光 图 像 人 配 准 后 坐标 图 
图 4 不 同 鲁 棒 损 失 函 数 评估 实验 结果 
对 应 于 三 组 测试 数据 所 得 的 误差 值 如 表 1 所 示 ， 由 数据 本 
文 可 以 看 出 ， 其 他 三 类 鲁 棒 损失 函数 确实 可 以 减少 对 应 特征 点 
集 在 坐标 上 的 差 值 ， 有 效 地 提高 了 点 集 的 配 准 率 。 三 类 和 鲁 棒 损 
失 函 数 实验 效果 差别 不 大 ， 其 中 Tukeybi-weight 函数 在 总 体 上 
取得 了 最 小 的 配 准 误差 ， 在 图 4(Cc)(D 和 人 中 详细 展示 了 三 组 采 
用 Tukey bi-weight 函数 所 获得 的 配 准 结果 。 
3e 1 利用 不 同 鲁 棒 函 数 的 配 准 误差 
RMSE 值 
组 1 图 组 2 图 组 3 图 
4(a),(b) 4(d),(e) 4(g),(h) 
改进 ICP 算法 -欧式 距离 10.633 13.363 12.132 
改进 ICP 算法 -Huber 函数 7.006 9.161 11.586 
改进 ICP 算法 -Tukey's Biweigh 函数 0.462 9.083 11.522 
改进 ICP 算法 -Cauchy 函数 6.789 9.101 11.515 
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3.2.4 实验 结果 分 析 与 比 对 


本 小 节 的 实验 将 基于 50 个 测试 用 侦 


行 了 分 析 和 优化 。 实 验 结果 表明 ， 该 方法 能 更 快速 地 收敛， 且 


| 的 数据 库 来 对 算法 进 


行 评测 ， 计 算出 这 50 组 图 像 的 平均 RMSE 值 ， 并 将 本 文中 的 
改进 ICP 算法 与 经 典 ICP 算法 对 比 ， 所 绘 曲 线 如 图 5 所 示 。 
0.04 
Y - I CP&& X--Huber i8 
1 X-Tukey bi-weightiát 
0085| Pá X--Cauchy it ] 
0.03 t A 
0.025 1 Bi 一 一 一 一 一 一 一 l—— i 
0.02 ` 
0.015 E t 
0 5 10 15 20 25 30 35 40 
图 5 RMSE 平均 值 对 比 曲线 图 


线 ; 


分 别 对 应 于 ICP 再 次 迭代 时 采 / 
图 中 可 直观 地 看 出 ， 改 进 ICP 算法 的 收敛 速度 更 快 ， 配 准 平均 
误差 更 小 ;ICP 再 次 迭代 时 ， 三 类 和 鲁 棒 损失 函数 实验 效果 差别 
Tukey bi-weight 函数 可 以 取得 最 小 的 RMSE 值 。 


SI 


不 大 ， 而 采用 
表 2 还 对 50 


做 了 统计 。 表 2 中 第 一 列 对 应 于 不 同 的 实验 方法 ， 后 


图 5 中 ， 红 色 虚 线 为 经 典 ICP 算法 对 应 的 RMSE 结果 
三 条 其 他 颜色 的 点 线 为 改进 ICP 算法 的 RMSE 结果 上 


线 ， 


不 同 的 鲁 棒 损失 函数 设置 。 


组 图 像 的 RMSE 值 在 不 同 算法 下 的 实验 结果 
Ei — Jr 
表 2 可 看 出 ， 改 进 


别 为 RMSE 的 中 值 、 平 均值 和 均 方差 值 。 


ICP 算法 的 RMSE 值 所 对 应 的 各 项 指标 均 小 于 经 典 ICP 算法 ; 
而 ICP 算法 再 次 迭代 时 ， 和 鲁 棒 损失 函数 选用 


数 时 ， 测 试 算法 局 


E 所 得 的 实验 效果 最 佳 。 


Tukey bi-weight Pf 


表 2 算法 对 比 数据 表 
RMSE 值 
HE FHE ” 均 方差 值 
经 典 ICP 算法 26.137 24.443 14.415 
改进 ICP 算法 -Huber 函数 11.891 — 17.751 14.341 
改进 ICP 算法 -Tukey's Biweigh 函数 11.854 — 17.637 14.371 
改进 ICP 算法 -Cauchy 函数 11.836 17.716 14.287 
4 ”结束 语 
本 文 将 ICP 算法 应 用 于 多 模 态 牙科 图 像 的 自动 配 准 ,并 根 


据 其 成 像 特点 提出 了 改进 方法 ,使 算法 具 


有 更 好 的 鲁 棒 性 和 准 


确 性 。 在 对 多 模 态 牙科 图 像 进行 了 预 处 至 


特定 的 特征 点 提 


有 助 于 提高 算法 的 鲁 棒 性 ， 其 次 ， 本 文 应 用 特定 的 牙科 图 像 自 


后 ， 本 文 首先 研究 了 


取 方 法 ,将 牙 体 硬 组 织 边 缘 选 取 为 初始 特征 点 ， 


动 分 割 技术 , 通过 对 病 损 组 织 的 优选 , 进 


i 


步 优 化 了 配 准点 集 ， 


从 而 提高 了 算法 的 准确 性 ， 最后， 本 文 利用 改进 的 ICP 算法 对 


多 模 态 牙 科 图 像 中 的 牙 体 硬 组 织 区 域 完成 I 
依次 对 ICP 算法 的 迭代 策略 进行 了 改进 ， 


自动 配 准 ， 论 文中 


对 和 鲁 棒 损失 函数 进 


具有 更 高 的 准确 率 。 
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